Une autre semaine, une autre émission d’horreur sur la vie privée : Crisis Text Line, un service de messagerie texte à but non lucratif destiné aux personnes confrontées à de graves crises de santé mentale, utilise des données de conversation « anonymisées » pour alimenter un outil d’apprentissage automatique à but lucratif pour les équipes de support client. (Après le contrecoup, CTL a annoncé qu’il s’arrêterait.) La réponse de Crisis Text Line au contrecoup s’est concentrée sur les données elles-mêmes et si elles incluaient des informations personnellement identifiables. Mais cette réponse utilise les données comme distraction. : Supposons que vous ayez envoyé un SMS à Crisis Text Line et que vous ayez reçu un message disant « Hé, juste pour que vous le sachiez, nous allons utiliser cette conversation pour aider notre filiale à but lucratif à créer un outil d’apprentissage automatique pour les entreprises qui s’occupent du support client. » Souhaitez-vous continuer à envoyer des SMS ?
C’est la vraie parodie – lorsque le prix de l’obtention d’une aide en santé mentale en cas de crise devient de l’eau pour un moulin à apprentissage automatique. Et ce ne sont pas seulement les utilisateurs de CTL qui paient ; ce sont tous ceux qui vont chercher de l’aide quand ils en ont le plus besoin.
Les Américains ont besoin d’aide et ne peuvent pas l’obtenir. L’énorme demande non satisfaite de conseils et d’aide critiques a donné naissance à une nouvelle classe d’organisations et d’outils logiciels qui existent dans une zone grise réglementaire. Ils aident les personnes en faillite ou en expulsion, mais ce ne sont pas des avocats; ils aident les personnes en crise de santé mentale, mais ils ne sont pas des fournisseurs de soins. Ils invitent les gens ordinaires à compter sur eux et apportent souvent une réelle aide. Mais ces services peuvent aussi éviter d’assumer la responsabilité de leurs conseils, voire abuser de la confiance que les gens leur accordent. Ils peuvent faire des erreurs, pousser la publicité prédatrice et la désinformation, ou simplement vendre carrément des données. Et les garanties des consommateurs qui protégeraient normalement les gens contre les malversations ou les erreurs des avocats ou des médecins n’ont pas rattrapé leur retard.
Cette zone grise réglementaire peut également contraindre les organisations qui ont de nouvelles solutions à proposer. Prenez Upsolve, une organisation à but non lucratif qui développe des logiciels pour guider les personnes en cas de faillite. (La société s’efforce de prétendre qu’elle n’offre pas de conseils juridiques.) Upsolve veut former des dirigeants de la communauté de New York pour aider les autres à naviguer dans les tribunaux de la dette notoires de la ville. Un problème : ces stagiaires potentiels ne sont pas des avocats, donc en vertu de la loi de New York (et de presque tous les autres États), l’initiative d’Upsolve serait illégale. Upsolve poursuit maintenant pour se tailler une exception. L’entreprise prétend, à juste titre, qu’un manque d’aide juridique signifie que les gens n’ont effectivement pas de droits en vertu de la loi.
L’échec de la profession juridique à accorder aux Américains l’accès au soutien est bien documenté. Mais le procès d’Upsolve soulève également de nouvelles questions importantes. Qui est ultimement responsable de la
conseils donnés dans le cadre d’un programme comme celui-ci, et qui est responsable d’une erreur – un stagiaire, un formateur, les deux ? Comment enseignons-nous aux gens leurs droits en tant que client de ce service et comment demander un recours ? Ce sont des questions auxquelles il est tout à fait possible de répondre. Il existe de nombreux outils politiques pour créer des relations avec des responsabilités élevées : nous pourrions attribuer aux donneurs de conseils un statut juridique spécial, établir un devoir de loyauté pour les organisations qui traitent des données sensibles ou créer des bacs à sable politiques pour tester et apprendre de nouveaux modèles de prestation de conseils. .
Mais au lieu d’utiliser ces outils, la plupart des régulateurs semblent se contenter de faire l’autruche. Officiellement, vous ne pouvez pas donner de conseils juridiques ou de santé sans titre professionnel. Officieusement, les gens peuvent obtenir de tels conseils, sauf le nom, auprès d’outils et d’organisations opérant en marge. Et bien que les références puissent être importantes, les régulateurs ne parviennent pas à s’engager sur la façon dont les logiciels ont fondamentalement changé la façon dont nous nous conseillons et prenons soin les uns des autres, et ce que cela signifie pour les responsabilités des donneurs de conseils.
Et nous avons plus que jamais besoin de cet engagement. Les personnes qui demandent l’aide d’experts ou de soignants sont vulnérables. Ils peuvent ne pas être en mesure de distinguer un bon service d’un mauvais. Ils n’ont pas le temps d’analyser les conditions d’utilisation denses de jargon, de mises en garde et de clauses de non-responsabilité. Et ils n’ont que peu ou pas de pouvoir de négociation pour fixer de meilleures conditions, surtout lorsqu’ils arrivent au milieu de la crise. C’est pourquoi les obligations fiduciaires des avocats et des médecins sont si nécessaires en premier lieu : non seulement pour protéger une personne qui demande de l’aide une fois, mais pour donner aux gens l’assurance qu’ils peuvent demander l’aide d’experts pour les problèmes les plus critiques et les plus sensibles auxquels ils sont confrontés. En d’autres termes, le devoir d’un avocat envers son client n’est pas seulement de protéger un client de son avocat particulier ; c’est pour protéger la confiance de la société envers les avocats.